在基于特征的同时定位和映射（SLAM）中，LINE具有点特征的稀疏性，使得可以映射周围环境结构。利用线特征的现有方法主要采用了使用线重新投影的测量模型。然而，在3D线映射过程中使用的方向向量不能被校正，因为线路测量模型仅在PL \“{U} CKER坐标中仅采用行的正常向量。结果，在3D期间发生的退化性等问题不能解决线映射过程。为了解决问题，本文提出了一种UV-SLAM，它是使用用于结构映射的消失点的基于不受约束的线路。本文侧重于使用结构规则而没有任何限制，如曼哈顿世界假设。为此，我们使用从线特征获得的消失点。通过图像中的线特征计算的消失点观察与通过方向向量计算的消失点估计计算的差异被定义为残差和添加到基于优化的SLAM的成本函数。此外，通过Fisher信息矩阵等级分析，我们证明了消失点测量S保证了一个独特的映射解决方案。最后，我们证明，与使用公共数据集的最先进的算法相比，本地化准确性和映射质量得到改善。

在本文中，提出了一种新的视觉惯性内径（VIO）的步行 - vio，采用步行运动 - 自适应腿运动约束，其提出了用身体运动改变为四足机器人的定位。四足机器人主要使用VIO，因为它们需要快速定位进行控制和路径规划。但是，由于四足功能机器主要用于室外，因此从天空或地面提取的外来特征导致跟踪故障。此外，Quadruped Robots的行走运动导致摆动，这降低了相机和惯性测量单元（IMU）引起的定位精度。为了克服这些限制，许多研究人员使用VIO与腿运动限制。然而，由于四足机器人的行走运动根据控制器，步态，四足机器人的速度等，因此在添加腿运动限制的过程中应该考虑这些因素。我们提出了通过调整腿运动约束因素来使用的VIO，无论步行运动如何。为了评估Walk-VIO，我们创建和发布二章机器人的数据集，这些机器人在仿真环境中以各种类型的行走运动移动。此外，我们通过与当前最先进的算法进行比较验证了WAWN-VIO的有效性。

Estimating the 6D pose of objects is one of the major fields in 3D computer vision. Since the promising outcomes from instance-level pose estimation, the research trends are heading towards category-level pose estimation for more practical application scenarios. However, unlike well-established instance-level pose datasets, available category-level datasets lack annotation quality and provided pose quantity. We propose the new category level 6D pose dataset HouseCat6D featuring 1) Multi-modality of Polarimetric RGB+P and Depth, 2) Highly diverse 194 objects of 10 household object categories including 2 photometrically challenging categories, 3) High-quality pose annotation with an error range of only 1.35 mm to 1.74 mm, 4) 41 large scale scenes with extensive viewpoint coverage, 5) Checkerboard-free environment throughout the entire scene. We also provide benchmark results of state-of-the-art category-level pose estimation networks.

6多机器人抓钩是一个持久但未解决的问题。最近的方法利用强3D网络从深度传感器中提取几何抓握表示形式，表明对公共物体的准确性卓越，但对光度化挑战性物体（例如，透明或反射材料中的物体）进行不满意。瓶颈在于这些物体的表面由于光吸收或折射而无法反射准确的深度。在本文中，与利用不准确的深度数据相反，我们提出了第一个称为MonograspNet的只有RGB的6-DOF握把管道，该管道使用稳定的2D特征同时处理任意对象抓握，并克服由光学上具有挑战性挑战的对象引起的问题。 MonograspNet利用关键点热图和正常地图来恢复由我们的新型表示形式表示的6-DOF抓握姿势，该表示的2D键盘具有相应的深度，握把方向，抓握宽度和角度。在真实场景中进行的广泛实验表明，我们的方法可以通过在抓住光学方面挑战的对象方面抓住大量对象并超过基于深度的竞争者的竞争成果。为了进一步刺激机器人的操纵研究，我们还注释并开源一个多视图和多场景现实世界抓地数据集，其中包含120个具有20m精确握把标签的混合光度复杂性对象。

唇读旨在仅基于唇部运动来预测语音。当它专注于视觉信息以建模语音时，其性能本质上对个人唇部外观和动作敏感。这使得唇读模型由于训练和测试条件之间的不匹配而将其应用于看不见的说话者时显示出降级的性能。演讲者的适应技术旨在减少火车和测试扬声器之间的不匹配，从而指导训练有素的模型，以专注于对语音内容进行建模而不由说话者变化介入。与数十年来基于音频的语音识别所做的努力相反，扬声器适应方法在唇部阅读中尚未得到很好的研究。在本文中，为了纠正看不见的扬声器的唇读模型的性能降解，我们提出了一种扬声器自适应的唇部阅读方法，即用户依赖用户。依赖用户的填充是一种特定于扬声器的输入，可以参与预训练的唇读模型的视觉特征提取阶段。因此，可以在编码视觉功能期间考虑不同扬声器的唇外观和动作信息，适合单个扬声器。此外，所提出的方法不需要1）任何其他层，2）修改预训练模型的学习权重，以及3）预训练期间使用的火车数据的扬声器标签。它只能以受监督或无监督的方式仅学习用户依赖的填充，直接适应了看不见的说话者。最后，为了减轻公共唇阅读数据库中的扬声器信息不足，我们将众所周知的视听数据库的扬声器标记为LRW，并设计出一种名为LRW-ID的不可见语的唇lip阅读方案。

Stylegan最近的成功表明，预训练的Stylegan潜在空间对现实的视频生成很有用。但是，由于难以确定stylegan潜在空间的方向和幅度，因此视频中产生的运动通常在语义上没有意义。在本文中，我们提出了一个框架来通过利用多模式（声音图像文本）嵌入空间来生成现实视频。由于声音提供了场景的时间上下文，因此我们的框架学会了生成与声音一致的视频。首先，我们的声音反演模块将音频直接映射到Stylegan潜在空间中。然后，我们结合了基于夹子的多模式嵌入空间，以进一步提供视听关系。最后，提出的帧发电机学会在潜在空间中找到轨迹，该空间与相应的声音相干，并以层次结构方式生成视频。我们为声音引导的视频生成任务提供新的高分辨率景观视频数据集（视听对）。实验表明，我们的模型在视频质量方面优于最新方法。我们进一步显示了几种应用程序，包括图像和视频编辑，以验证我们方法的有效性。

光有许多可以通过视觉传感器被动测量的特性。色带分离波长和强度可以说是单眼6D对象姿态估计的最常用的波长。本文探讨了互补偏振信息的互补信息，即光波振荡的方向，可以影响姿态预测的准确性。一种混合模型，利用数据驱动的学习策略共同利用物理代理，并在具有不同量的光度复杂度的物体上进行设计和仔细测试。我们的设计不仅显着提高了与光度 - 最先进的方法相关的姿态精度，而且还使对象姿势估计用于高反射性和透明的物体。

间接飞行时间（I-TOF）成像是由于其小尺寸和价格合理的价格导致移动设备的深度估计方式。以前的作品主要专注于I-TOF成像的质量改进，特别是固化多路径干扰（MPI）的效果。这些调查通常在特定约束的场景中进行，在近距离，室内和小环境光下。令人惊讶的一点工作已经调查了现实生活场景的I-TOF质量改善，其中强烈的环境光线和远距离由于具有限制传感器功率和光散射而导致的诱导射击噪声和信号稀疏引起的困难。在这项工作中，我们提出了一种基于新的学习的端到端深度预测网络，其噪声原始I-TOF信号以及RGB图像基于涉及隐式和显式对齐的多步方法来解决它们的潜在表示。预测与RGB视点对齐的高质量远程深度图。与基线方法相比，我们在挑战真实世界场景中测试了挑战性质场景的方法，并在最终深度地图上显示了超过40％的RMSE改进。

In robotics and computer vision communities, extensive studies have been widely conducted regarding surveillance tasks, including human detection, tracking, and motion recognition with a camera. Additionally, deep learning algorithms are widely utilized in the aforementioned tasks as in other computer vision tasks. Existing public datasets are insufficient to develop learning-based methods that handle various surveillance for outdoor and extreme situations such as harsh weather and low illuminance conditions. Therefore, we introduce a new large-scale outdoor surveillance dataset named eXtremely large-scale Multi-modAl Sensor dataset (X-MAS) containing more than 500,000 image pairs and the first-person view data annotated by well-trained annotators. Moreover, a single pair contains multi-modal data (e.g. an IR image, an RGB image, a thermal image, a depth image, and a LiDAR scan). This is the first large-scale first-person view outdoor multi-modal dataset focusing on surveillance tasks to the best of our knowledge. We present an overview of the proposed dataset with statistics and present methods of exploiting our dataset with deep learning-based algorithms. The latest information on the dataset and our study are available at https://github.com/lge-robot-navi, and the dataset will be available for download through a server.

The Coronavirus disease 2019 (COVID-19) was first identified in Wuhan, China, in early December 2019 and now becoming a pandemic. When COVID-19 patients undergo radiography examination, radiologists can observe the present of radiographic abnormalities from their chest X-ray (CXR) images. In this study, a deep convolutional neural network (CNN) model was proposed to aid radiologists in diagnosing COVID-19 patients. First, this work conducted a comparative study on the performance of modified VGG-16, ResNet-50 and DenseNet-121 to classify CXR images into normal, COVID-19 and viral pneumonia. Then, the impact of image augmentation on the classification results was evaluated. The publicly available COVID-19 Radiography Database was used throughout this study. After comparison, ResNet-50 achieved the highest accuracy with 95.88%. Next, after training ResNet-50 with rotation, translation, horizontal flip, intensity shift and zoom augmented dataset, the accuracy dropped to 80.95%. Furthermore, an ablation study on the effect of image augmentation on the classification results found that the combinations of rotation and intensity shift augmentation methods obtained an accuracy higher than baseline, which is 96.14%. Finally, ResNet-50 with rotation and intensity shift augmentations performed the best and was proposed as the final classification model in this work. These findings demonstrated that the proposed classification model can provide a promising result for COVID-19 diagnosis.